在本文中,我们演示并调查了一些挑战,这些挑战阻碍了使用物理知识的神经网络解决复杂问题的方式。特别是,我们可视化受过训练的模型的损失景观,并在存在物理学的情况下对反向传播梯度进行灵敏度分析。我们的发现表明,现有的方法产生了难以导航的高度非凸损失景观。此外,高阶PDE污染了可能阻碍或防止收敛的反向传播梯度。然后,我们提出了一种新的方法,该方法绕过了高阶PDE操作员的计算并减轻反向传播梯度的污染。为此,我们降低了解决方案搜索空间的维度,并通过非平滑解决方案促进学习问题。我们的配方还提供了一种反馈机制,可帮助我们的模型适应地专注于难以学习的领域的复杂区域。然后,我们通过调整Lagrange乘数方法来提出一个无约束的二重问题。我们运用我们的方法来解决由线性和非线性PDE控制的几个具有挑战性的基准问题。
translated by 谷歌翻译